बड़े AI मॉडल (जैसे Transformer और भाषा मॉडल) का प्रशिक्षण AI क्षेत्र में एक अनिवार्य कुंजी पहलू बन गया है, लेकिन यह उच्च गणना लागत, मेमोरी खपत और ऊर्जा की आवश्यकता जैसी चुनौतियों का सामना कर रहा है। उदाहरण के लिए, OpenAI का GPT-3 के पास 1750 करोड़ पैरामीटर हैं, जिसे GPU प्रशिक्षण के लिए कई हफ्तों की आवश्यकता होती है। इन विशाल संसाधनों की आवश्यकता ने इस तकनीक के बड़े पैमाने पर गणना संसाधनों वाले संगठनों में उपयोग को सीमित कर दिया है, साथ ही ऊर्जा दक्षता और पर्यावरणीय प्रभाव के बारे में चिंताओं को बढ़ावा दिया है। इन चुनौतियों का समाधान करना AI के विकास को अधिक व्यापक रूप से सुलभ बनाने के लिए आवश्यक है।